Al in de 10de eeuw stond er op deze plaats een burcht die deel uitmaakte van een versterkingsgordel aan de Schelde voor het Graafschap Vlaanderen.
De Graaf van Vlaanderen gaf aan een ridder een grote partij gronden in leen, waartoe de omgeving Barsele behoorde. De ridder die de gronden in leen kreeg, kreeg ook de macht om in naam van de graaf het gebied te besturen en er recht te spreken. Hij werd daarom naar de heer van die leengronden genoemd en zijn leen werd een heerlijkheid, de heerlijkheid Barsele. In 1238 legde Raas Van Barsele de funderingen van het nieuwe versterkte kasteel, dat in 1510 verkocht werd aan Lieven Van Pottelsberghe, raadsheer van Keizer Karel. Na diens dood ging het over naar zijn zoon, en achteraf kwam het in handen van Servaas van Steelant. In 1562 vernietigden de troepen van Marnix van Sint-Aldegonde grotendeels het kasteel. In 1590 werd begonnen met de wederopbouw.
Een volgende belangrijke verbouwing startte in 1811 o.l.v. de Engelse architect F. Verly in opdracht van Philippe Vilain XIIII en Zoe De Feltz. Om het middeleeuwse karakter van het kasteel te behouden ontwierp men een plan in neogotische stijl naar de toen heersende stijl waarbij de vroegere Empire-elementen werden geïntegreerd waarmee het kasteel één van de eerste neogotische creatie werd in ons land.
In 1989 kocht de gemeente onder impuls van burgemeester Antoine Denert het kasteel aan van de grafelijke familie Vilain XIIII, die het tot dan bewoonde. Dit was meteen het startsein voor de herwaardering en restauratie van het gebouw. Het kasteel heeft een multifunctionele bestemming gekregen, waardoor het onderhoud ervan verzekerd is.